OneRetrieval: Unifying Multi-Branch E-commerce Retrieval with an Editable Generative Model
OneRetrieval:用可编辑生成式模型统一电商多路检索
🧭 生成式检索 · 可编辑Semantic ID ★ 深度解读
Kuaishou Technology
首个兼具高召回与倒排索引级实时编辑能力的生成式检索框架,通过关键词对齐编码和预留槽位实现多路召回统一。
📌 工作参考价值(4 点)
- 保留槽位实现术语实时注入:在码本中为每个属性组预留少量 token,训练时不绑定具体词,仅通过自路由监督保证可解码;部署后只需更新属性词典和 SID-to-item 查找表即可立即上线新词,无需重训模型,完美替代倒排索引的编辑能力。
- 关键词对齐编码 (KAE) 解耦语义与编辑:将语义标识符的每个位置绑定到可解释的属性词而不是量化嵌入,使编辑能力来源于上游字典,与模型策略分离;同时利用 LM 先验提升召回,位置透明便于 debug 和人工干预。
- 信息论驱动的非均匀容量分配:通过互信息损失聚类将 18 类细粒度属性合并为 6 组,密集组分配更大码本容量(2048 vs 1024),显著减少属性词冲突,提升深层召回(HR@350 达 0.6055)且几乎不增推理成本。
- 四阶段 SFT 联合保障质量与可编辑性:阶段 0 对齐槽位与属性词先验,阶段 2 引入协同共现信号为预留槽路由打下基础,阶段 3 用极小量自路由样本保持预留槽可发射;新增功能与检索质量通过近解耦的 stage 分别保障,避免相互干扰,可直接迁移到其他生成式推荐系统。